James Fenimore Cooper sinh ra ở Burlington, New Jersey năm 1789, là con trai của ông William Cooper và bà Elizabeth (Fenimore) Cooper, người con thứ 11 trong 12 con, phần lớn họ đều chết lúc sinh hoặc chết trẻ. Ông có gốc từ James Cooper của Stratford-upon-Avon, Warwickshire, Anh đã di cư đến các thuộc địa Mỹ năm 1679. James và vợ ông là Quakers đã mua nhiều lô đất ở New Jersey và Pennsylvania. 75 năm sau khi ông đến Mỹ, chắt của ông William sinh ngày 2/12/1754[5][6]. Một thời gian ngắn sau sinh nhật thứ nhất của James, gia đình đã chuyển đến Cooperstown, New York, một cộng đồng được cha ông thành lập trên khu đất ông đã mua để phát triển. Sau đó, cha ông đã được bầu làm dân biểu Hạ viện Hoa Kỳ từ quận Otsego. Thị trấn của họ ở khu vực trung tâm của New York trước đó thuộc về Iroquois của sáu xứ. Người Iroquois đã bị buộc phải nhượng lãnh thổ của họ sau khi quân Anh thất bại trong chiến tranh cách mạng, do họ đã là đồng minh[4].

Ngay sau cuộc cách mạng Mỹ, bang đã đưa khu đất của người Iroqois ra bán và phát triển. Cha của Cooper đã mu nhiều ngàn mẫu đất của New York dọc theo sông Susquehanna. Đến năm 1788, William Cooper đã chọn và khảo sát hiện trường nơi Cooperstown sau đó được thiết lập. Ông đã xây nhà ở bờ hồ Otsego và chuyển gia đình đeens đó vào mùa thu năm 1790. Ông đã sớm xây khu khu nhà lớn được gọi là Tòa nhà Otsego. Tòa nhà này hoàn thành năm 1799 khi James lên 10[6].

Năm 13 tuổi Cooper ghi danh vào trường Yale, nhưng ông không thể tốt nghiệp vì bị đuổi học. Lý do xuất phát từ một trò đùa nguy hiểm, đó là tham gia vào việc làm nổ tung cánh cửa phòng của một học sinh khác. Một trò đùa tinh nghịch khác là dạy một con lừa ngồi trên ghế của giáo sư[7]. Sau đó năm 1806 ông được nhận làm thủy thủ lúc 17 tuổi trên một tàu thương gia[2][8], và vào năm 18 tuổi, ông gia nhập Hải quân Hoa Kỳ. Ông phục vụ đến cấp bậc chuẩn úy trước khi rời Hải quân vào năm 1811[4][9].

Lúc 20 tuổi, Cooper đã thừa kế tài sản từ cha mình, năm 21 tuổi, ông kết hôn với Susan DeLancey tại Mamaroneck, quận Westchester, New York ngày 1 tháng 1 năm 1811[10]. Vợ ông là con gái một gia đình giàu có vẫn trung thành với nước Anh trong chiến tranh cách mạng. Họ có với nhau bảy người con, năm trong số đó sống đến trưởng thành. Con gái của họ Susan Fenimore Cooper là một nhà văn. Bà này và ông thường biên tập tác phẩm của nhau[11] Trong các hậu duệ của ông có Paul Fenimore Cooper (1899–1970), cũng là nhà văn[12].